クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年11月号

データアナリティクス事業本部 コンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートとそのブログを追っています。

先月は、昨年のre:Invent2022で発表があった Amazon DataZoneがついにGA（一般提供開始）になりました。従来のGlue ETLジョブのVisual ETL画面のブラッシュアップ、OpenSearch 新バージョン 2.9の機能追加、QuickSightの集計関連の機能や表示方法の追加などがありました。

その他に、IPv4の有償化に伴い、IPv4・IPv6のデュアルスタック対応などのAPI対応などの傾向もありました。

では、新機能・アップデートを紹介します！

Amazon DataZone

新機能・アップデート

2023/10/04 - Amazon DataZone の一般提供開始

昨年のre:Invent2022で発表があった Amazon DataZone の一般提供が開始されました。このデータ管理サービスは、アクセス制御によるデータガバナンスと、カタログ化、発見、分析、共有、管理するデータカタログを提供します。

これらの機能によってデータを可視化し、ビジネスユニット全体のデータプロデューサーとコンシューマーがより安全にデータを共有できるようになります。

パブリックプレビューの段階のためUIが異なりますが、動画にて解説しています。

Amazon Redshift

新機能・アップデート

2023/10/17 - AWS が Amazon Redshift と Visual Studio Code の統合を発表

Visual Studio Code (VSCode)用のAWS関連機能が統合されているプラグイン AWS Toolkit がAmazon Redshiftのスキーマオブジェクトの表示やクエリの実行が可能になりました。プラグインのインストールもしくはアップデートすることで直ちに利用可能です。

Visual Studio Code との統合により、Amazon Redshift のお客様は Visual Studio Code を使用して、ノートブックインターフェイスで SQL クエリを作成して実行することや、Redshift データウェアハウス内のスキーマオブジェクトを表示することができるようになります。

APIの変更点

2023/10/16 - Amazon Redshift - 23 updated api methods

AWS Secrets Manager を使用して、プロビジョニングされたクラスタ管理者の認証情報を管理するためのサポートが追加されました。

2023/10/23 - Redshift Serverless - 5 updated api methods

このリリースでは、Amazon Redshift Serverlessでパッチバージョンとワークグループバージョンを確認できるようにサポートが追加されています。

2023/10/26 - Amazon Redshift - 4 new api methods

Amazon Redshiftの新しいZero-ETL統合機能のために、Redshift API GetResourcePolicy、DeleteResourcePolicy、PutResourcePolicy、DescribeInboundIntegrationsを追加しました。

2023/10/27 - Amazon Redshift - 23 updated api methods

パブリックエンドポイントの IP アドレスタイプでデュアルスタックのクラスタを作成するためのサポートを追加しました。

2023/10/30 - Redshift Serverless - 5 new 6 updated api methods

Amazon Redshift Serverlessワークグループのカスタムドメイン名のサポートを追加しました。この機能によってカスタムドメイン名を作成し、AWS Certificate Managerを使用してそのドメインへの完全にセキュアな接続を生成することができるようになりました。

Amazon Athena

新機能・アップデート

2023/10/31 - Amazon Athena announces one hour reservations for Provisioned Capacity

Athenaは、プロビジョンドキャパシティの1時間予約を開始しました。従来はクエリ処理能力を最低8時間、予約および解放できませんでしたが、それが1時間に短縮されました。今回のアップデートで時間の経過とともに需要が変化するワークロードのコストを最適化することが容易になります。

プロビジョンド キャパシティを使用すると、必要なキャパシティとそのキャパシティがアカウント内でアクティブになっている時間に対してのみ料金を支払います。1 時間が経過すると、容量は 1 分ごとに課金されます。

Athenaのプロビジョンドキャパシティについては、以下のブログをご覧ください。

Amazon Glue

新機能・アップデート

2023/10/09 - AWS Glue が Git との統合機能で GitLab と BitBucket のサポートを開始

AWS Glue は GitHub と AWS CodeCommit に加えて GitLab と BitBucket をサポートするようになりました。この統合により、Jenkins や AWS CodeDeploy を使用してデプロイを自動化できます。

2023/10/25 - AWS Glue now offers example jobs, drag-and-drop, and a preview-first layout

AWS Glue は、Visual ETL とノートブック用のサンプルジョブ、ノード接続用のドラッグアンドドロップ、データプレビューに重点を置いたレイアウト、クリック数の少ないシンプルな UI を提供するようになりました。従来のGlue ETLジョブのVisual ETL画面がより使いやすくブラッシュアップされています。

APIの変更点

2023/10/12 - AWS Glue - 7 updated api methods

AWS GlueからGitLabとBitbucketによるバージョン管理のサポートを対応しました。

Amazon QuickSight

新機能・アップデート

2023/10/09 - Amazon QuickSight now supports running queries as an IAM role for Redshift data sources

Amazon QuickSight は、 IAM ロールを使用した Redshift データへの接続をサポートするようになりました。IAM ロールを使用して QuickSight のデータに接続すると、管理者は Redshift データ ソースに対するfine-grained IAM アクセス ポリシーを使用してデータセキュリティを強化できる様になりました。

2023/10/10 - Amazon QuickSight にピボットテーブルの合計配置オプションが追加

Amazon QuickSight では、ピボットテーブルの行と列の合計配置オプションがサポートされるようになりました。これにより、作成者は特定のユースケースや個々のニーズに応じて、表形式のデータのスタイル設定や表示を柔軟に行うことができます。さらに、複数のスクロールやページ移動が必要な合計の比較や表示が容易になります。

2023/10/20 - Amazon QuickSight が Starburst への直接接続を新たにサポート

Amazon QuickSight から直接 Starburst に接続できるようにするネイティブ Starburst コネクタの一般提供されました。Starburst とは、データレイクの分析プラットフォームを提供するサービスです。ネイティブ Starburst データ コネクタは、オンプレミス インスタンスの Starburst Enterprise とマネージド インスタンスの Starburst Galaxy への接続をサポートします。

2023/10/20 - Amazon QuickSight now supports direct connectivity to Trino

Amazon QuickSight から直接 Trino に接続できるようにするネイティブ Trino コネクタの一般提供を発表します。このリリースでは、データ ソースを作成、更新、編集、削除するためのコンソールと完全な API の両方のサポートが提供されました。

2023/10/30 - Amazon QuickSight launches Custom Total for Table and Pivot table charts

Amazon QuickSight は、テーブルとピボットテーブルのカスタム合計機能をサポートしました。事前定義されたリストから合計、平均、最小、最大、なし (非表示) などの計算を指定して、ユーザー インターフェイス内で簡単なワンクリック方法でテーブル/ピボット テーブル グラフの合計を計算できるようになりました。

APIの変更点

22023/10/19 - Amazon QuickSight - 20 updated api methods

このリリースは以下を機能に対応しました

1) Trino および Starburst データベース・コネクタ 2) テーブルとピボットテーブルのカスタム合計 3) 制限付きフォルダの有効化 4) 時間均等フィルタのローリングデイトの追加 5) DataPathValue のブラッシュアップと DataPathType の導入 6) SeriesType の ReferenceLineDataConfiguration への追加

Amazon Kinesis

新機能・アップデート

2023/10/31 - Amazon Kinesis Data Streams increases On-Demand write throughput limit to 2 GB/s

オンデマンド書き込みスループットの制限が従来の制限である1GB/秒から2GB/秒になりました。デフォルトでは、オンデマンドモードは、AWSサポートを通じて上限緩和をリクエストして、オンデマンドストリームを2GB/sの書き込みスループットと4GB/sの読み取りスループットまでスケールアップできるようになりました。

Amazon OpenSearch Service

新機能・アップデート

2023/10/02 - Amazon OpenSearch Service バージョン 2.9 で、地理空間集約サポートが拡張

Amazon OpenSearch Service バージョン 2.9 が、Geo Bounds、Geo Centroid、Geo Hash、および Geo Title が追加されました。バージョン 2.9 の新しい集計サポートにより、データに対してより多くの統計分析を行えるため、結論を導き出し、解釈するのが簡単になります。

2023/10/02 - Amazon OpenSearch Service now supports OpenSearch version 2.9

Amazon OpenSearch Service で OpenSearch バージョン 2.9 を実行できるようになりました。オープンソース OpenSearch バージョン 2.8 および 2.9 の一部として導入された機能が含まれています。

2023/10/03 - Amazon OpenSearch Service announced Amazon OpenSearch Service Integrations

OpenSearch Service 2.9 には OpenSearch Service Integrations が付属しており、お客様は Open Telemetry などの新しいスキーマ標準を利用し、取り込みパイプラインと OpenSearch Service の間で合意されたスキーマに基づいてダッシュボードを構築できるようになりました。

2023/10/04 - Amazon OpenSearch Service がダッシュボードのアラートとアノマリーのサポートを開始

OpenSearch Service 2.9 では、お客様がアラートや異常を管理し、ダッシュボードによる可視化折れ線グラフにオーバーレイする機能をサポートするようになりました。

ダッシュボードの折れ線グラフに基づいて新しいアラートモニターやアノーマリーディテクタを作成したり、既存のアラートモニターやアノーマリーディテクタを関連付けたりできます。

2023/10/18 - Amazon OpenSearch Service が新しい管理オプションを発表

Amazon OpenSearch Service で新しい管理オプションがサポートされ、クラスタの潜在的な問題のトラブルシューティングをより詳細に制御できるようになりました。

これらのオプションには、ノード上の OpenSearch プロセスを再起動する機能と、データノードを再起動する機能が含まれます。

2023/10/19 - Amazon OpenSearch Service now offers Amazon EC2 Im4gn instances

Amazon OpenSearch Service は、AWS Graviton2 プロセッサを搭載した Amazon EC2 Im4gn インスタンスを提供するようになりました。

新しい Im4gn インスタンス タイプは、ストレージ集約型のワークロードに最適で、OpenSearch Service で利用可能な既存のストレージ最適化インスタンスよりも TB あたりのコストが低くなります。Im4gn は、AWS Nitro SSD で最大 30 TB の NVMe SSD インスタンス ストレージをサポートします。

2023/10/24 - Amazon OpenSearch Serverless now supports automated time-based data deletion

Amazon OpenSearch Serverless が、インデックス ライフサイクル ポリシーの簡単なセットアップを通じて、時間に基づいた自動データ削除をサポートしました。

データの保存と削除の管理を合理化するための新しいインデックス ライフサイクル ポリシーが導入され、API または AWS コンソールのシンプルな設定インターフェイスを使用して、時系列コレクションのデータ保持ポリシーを設定できるようになり、古いデータを削除するための毎日のインデックスやスクリプトを作成する必要がなくなります。OpenSearch Serverless は、インデックス ポリシーに基づいてインデックスのロールオーバーと古いデータの削除を自動的かつ効率的に処理し、運用オーバーヘッドを最小限に抑えます。

2023/10/17 - Amazon OpenSearch Service が新たに 4 つの言語アナライザーをサポート

Amazon OpenSearch Service が、新たに Nori (韓国語)、Sudachi (日本語)、Pinyin (中国語)、STConvert Analysis (中国語) プラグインという 4 つの言語アナライザープラグインをサポートするようになりました。

従来、Amazon OpenSearch Service は IK (中国語) Analysis、Kuromoji (日本語)、Seunjeon (韓国語) などの言語アナライザープラグインをサポートしていました。これらの新しいプラグインは、以前サポートされていた「TXT-DICTIONARY」パッケージタイプとともに、新しいパッケージタイプ「ZIP-PLUGIN」として利用できます。

2023/10/26 - Amazon OpenSearch Service now supports Internet Protocol Version 6 (IPv6)

Amazon OpenSearch Service は、新規および既存のドメインにIPv6アドレスを使用するオプションを提供するようになりました。

IPv6 に移行するお客様は、IPv4とIPv6の両方をサポートするネットワーク上で OpenSearch Service ドメインを実行することで、ネットワーク スタックを簡素化できます。

2023/10/27 - Amazon OpenSearch Service now supports efficient vector query filters for FAISS

Amazon OpenSearch Service の OpenSearch 2.9 は、 k-NN FAISS エンジンによるより効率的なクエリフィルタリングを利用できるようになりました。

APIの変更点

2023/10/16 - Amazon OpenSearch Service - 9 updated api methods

互換性のあるAmazon OpenSearch Serviceクラスタにオプションのプラグインパッケージをリストアップして関連付け、機能を強化することができるようになりました。

2023/10/26 - Amazon OpenSearch Service - 7 updated api methods

クラスターエンドポイントには ipv4 または dualstack IPAddressType を指定できます。

2023/10/19 - Amazon OpenSearch Service - 3 new api methods

スタンバイドメインのないMulti-AZにおいて、ノード再起動、opensearchプロセス再起動、およびOpenSearchダッシュボード再起動のためのクラスタ管理オプションを追加しました。

2023/10/24 - OpenSearch Service Serverless - 6 new 1 updated api methods

時間に基づいた自動データ削除に伴うライフサイクルのサポートに関するAPIのサポート。

Amazon EMR

新機能・アップデート

2023/10/02 - Amazon EMR on EKS インタラクティブエンドポイントの一般提供が開始

Amazon EMR on EKS 用のインタラクティブエンドポイントの一般提供を開始しました。Amazon EMR on EKSは、EMR Studio などの統合開発環境を使用してインタラクティブなワークロードを実行できるようになりました。

実行環境を制御する必要があるお客様は、インタラクティブエンドポイントを経由してインタラクティブなワークロードを実行するための別のメカニズムとしてセルフホストの Jupyter Notebook を使用できます。

APIの変更点

2023/10/27 - Amazon EMR - 2 updated api methods

Amazon MSK

新機能・アップデート

2023/10/18 - Amazon MSK がクロスリージョンおよび同一リージョンのストリーミングデータレプリケーション用の MSK Replicator を発表

新機能 Amazon MSK Replicatorは、異なる AWS リージョンまたは同じ AWS リージョンにある Amazon MSK クラスタ間でデータを確実にレプリケートできる機能です。

MSK Replicator を使用すると、リージョンでの耐障害性に優れたストリーミングアプリケーションを簡単に構築し、可用性とビジネス継続性を向上させることができます。また、MSK クラスタ間の自動非同期レプリケーションを実現できるため、カスタムコードの記述、インフラストラクチャの管理、クロスリージョンのネットワーク設定が不要になります。

最後に

毎年、11月はre:Inventが開催される月なので、その前にも多くの発表が期待できます。例えば、、、11/7にQuickSightの新しいUIの公開をアナウンスしています。

本来であればre:Invent期間中に発表されてもおかしくないような大きなアップデートがさらっと、11月に発表されたりします。re:Inventをより楽しむためにも11月のアップデートも押さえて、来月号で紹介します！